Рафал Юзаф Чарвякоўскі нарадзіўся 24 кастрычніка 1743 года пад горадам Пінскам (цяпер Брэсцкая вобласць). Дакладнае месца яго нараджэння невядома. Каб атрымаць адукацыю ў Рэчы Паспалітай, ён уступіў у манаскі ордэн піяраў. Скончыў піярскія школу ў 1762 годзе і вучылішча ў 1765 годзе.